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@) Verfahren zum Wiedererkennen von unikaten Bildsignalen und Vorrichtung zur Durchfuhrung des Verfahrens 

(§) Das Verfahren zum Wiedererkennen von unikaten Bildsi- 
gnalen, insbesondere von unikaten Bildfolgen tastet Lumin- 
anzwerte vorbestimmter Pixel und vorzugsweise vorbe- 
stimmter Gruppen von Pixeln (Cluster) ab, bildet ein Diffe- 
renzsignal zwischen den Luminanzwerten der vorbestimm- 
ten Cluster und aus diesen Differenzwerten eine Signum- 
funktion. Pro Vollbild entsteht damit ein bin§rer Merkmals- 
vektor, dessen Lange der Anzahl der pro Vollbild abgetaste- 
ten Cluster entspricht. Fur eine vorbestimmte Anzahl aufein- 
anderfolgender Vollbilder (z. B. 51) wird dann ein Bildse- 
quenz-Merkmalsvektor gebildet, der nach jedem Vollbild 
aktualisiert wird. Nach jedem Vollbild wird der aktualisierte 
Merkmalsvektor mit einer Vielzahl von in gleicher Weise 
ermittelten Merkmalsvektoren, die abgespeicherte, wieder- 
zuerkennende Bildfolgen identifizieren, korreliert. Bei einem 
vorbestimmten Korrelationswert, wird ein Signal "Bildfolge 
■ wiedererkannt" erzeugt. 
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Beschreibung tung auf einem Fdrderband transportiert wird, vgl. DE- 

Al-39 13 620, DE-A1-34 34 624, DE-A1 41 23 713, DE 

Die Erfindung bezieht sich auf ein Verfahren zum Al 40 34 742, DE-C2-3001 588 oder DE-OS 24 26 803. 

Wiedererkennen von unikaten Bildsignalen, insbeson- All diese bekannten Verfahren untersuchen einzelne 

dere von Fernsehbildern und eine Vorrichtung zur 5 Bilder aber keine Bildfolgea Wollte man mit diesen 

DurchfQhrung des Verfahrens. FUr verschiedene Zwek- Verfahren Bildfolgen von Fernsehbildern von einer 

ke wie z. B. statistische Auswertungen, Abrechnungen, Wiederholfrequenz von 25 Vollbildern pro Sekunde an- 

etc. ist es wflnschenswert, festzustellen, ob ein bestimm- wenden, so wtlrde der Aufwand unvertretbar ansteigen. 

tes Bild oder eine bestimmte Bildfolge in einer Sendung Aus der DE-C2-34 15 685 ist es bekannt, einen Sze- 

vorhanden ist Beispielsweise mochten Auftraggeber 10 nenwechsel bei der Film- und Videoproduktion dadurch 

von Werbespots imFernsehentiberprtifen,ob und wann automatisch zu erkennen, daB eine Szene daraufhin 

der Werbespot von einem Fernsehsender abgestrahlt tiberwacht wird, ob Anderungen der Bildsignale auftre- 

wurde und auch, ob er in voller Lange abgestrahlt wur- ten, die auf ein sich innerhalb der Szene bewegendes 

de oder gekflrzt wurde. Ahnliches gilt fQr Spielfilme und Objekt zurflckzufuhren sincL Das Problem wird dort so 

sonstige Fernsehsendungen. Bisher wurde dies entwe- 15 geldst, daB mittlere Helligkeitswerte eines BUdes gebil- 

der von Personen flberprQft, die das vollstandige Pro- det und mit den mittleren Helligkeitswerten eines un- 

gramm Qberwachten und entsprechende Aufzeichnun- mittelbar darauf folgenden Bildes Iaufend verglichen 

gen machten oder dadurch, daB das vollstandige Pro- werden, wobei durch Bewegungen verursachte Hellig- 

gramm auf Videorecordern aufgezeichnet wurde und keitsanderungen durch nachgeschaltete Filter eliminiert 

anschlieBend die Abstrahlung bestimmter Sendungen 20 werden, derart, daB n diskrete Differenzwerte auf einen 

darauf flberprflft wurde. Diese Methoden sind sehr per- einzelnen Szenenwechselimpuls untersucht werden. Die 

sonalaufwendig und aufgrund menschlichen Versagens, aus dem Vergleich gewonnenen Ergebnisse werden 

Unaufmerksamkeit, etc. nicht zuveriassiggenug. dann automatisch bewertet und ausgegeben. Ftir die 

Eine ahnliche Problematik stellt sich auch bei der Wiedererkennung von als Unikate vorliegenden Refe- 

Oberwachung von Sprach- und Musiksendungen, wo 25 renz-Bildfolgen ist dieses Verfahren nicht geeignet, zu- 

dieses Problem in der EP 0 296 588 A2 dadurch geldst mal gerade bei Werbesendungen tiber relativ lange 

wird, daB von den zu untersuchenden Tonsignalen je- Zeitraume von einigen Sekunden auch unbewegte 

weils Httllkurven gebildet und diese HQllkurven auf ei- Standbilder gesendet werden und Szenenwechsel ftir 

nen engen, niedrigen Frequenzbereich bandbegrenzt das Wiedererkennen ganz bestimmter (unikater) Bild- 

werden. Zeitliche Ausschnitte werden nach Digitalisie- 30 folgen nicht aussagekraftig sind. 

rung in einem Speicher als "Masken" gespeichert Bei Aus der GB-PS 1 603 940 ist ein Kamera-Oberwa- 

der Oberwachung von Sendungen werden dann die chungssystem bekannt, das automatisch feststellt, ob 

bandbegrenzten HQllkurvensignale der zu untersuchen- sich im Kamerabereich befindliche Objekte bewegen. 

den Tonsignale in gleichlangen Abschnitten in einem Hierzu werden Helligkeitswerte von mindestens zwei 

zweiten Speicher zwischengespeichert Innerhalb des 35 unterschiedlichen Bereichen der Szene abgetastet, in 

Zeitraumes zwischen dem Eintreffen zweier aufeinan- elektrische Signale umgewandelt und mit entsprechen- 

derfolgender zu untersuchender Signale wird dann der den Werten einer nachfolgenden Abtastung verglichen. 

Inhalt des Zwischenspeichers mit alien Masken des er- Andern sich die Helligkeitswerte an identischen Bildbe- 

sten Speichers verglichen, wobei bei einem vorgegebe- reichen innerhalb kurz aufeinanderfolgender Zeitinter- 

nen Grad der Obereinstimmung ein Erkennungssignal 40 valle, so ist dies ein sicheres Zeichen fQr ein sich bewe- 

erzeugtwird. gendes Objekt im Kamerabereich. Der gleiche Grund- 

Eine naheliegende Ldsung ftir die Oberwachung von gedanke wird ebenfalls bei einem Oberwachungssystem 

Fernsehsendungen ware es, mit diesem aus der gemSB der GB-PS 12 79 451 angewandt Ftir die Zwek- 

EP 0 296 588 bekannten Verfahren, die Tonsignale der ke der vorliegenden Erfindung ist dieses Verfahren 

Fernsehfilme, Werbespots, etc auszuwerten. Dies ftihrt 45 ebenfalls nicht anwendbar, da langer dauernde Standbil- 

aber nicht zu dem gewQnschten Erfolg, da beispielswei- der nicht erkannt werden kdnnen und da Helligkeits- 

se manche Werbespots, bei gieicher Bildfolge, regional wechsei in aufeinanderfolgenden Bildern nicht genug 

mit anderem Text oder anderer Musik abgestrahlt wer- Informationen enthalten, um als Unikat vorliegende 

den. Bildfolgen einwandfrei wiedererkennen zu kdnnen. 

Somit ist es erforderlich, das Bild oder die Bildfolge 50 Aufgabe der Erfindung ist es daher, ein Verfahren und 

selbst auszuwerten und zu tiberprtifen, ob eine abge- eine Schaltungsanordnung der eingangs genannten Art 

strahlte Bildfolge mit einer Referenzbildfolge iibereins- zu finden, das mit hoher Sicherheit das Wiedererkennen 

timmt von Bildern oder Bildfolgen gestattet. Ein weiteres Ziel 

Die DE-OS 24 14 809 zeigt einen Mustererkenner, bei der Erfindung liegt darin, das Verfahren weitestgehend 

dem das Bild in Mikrobereiche, d. h. eine Anzahl n von 55 hi Echtzeit durchzufOhren und auch zu tiberwachen, ob 

Pixeln aufgeteilt wird. Zur Komprimierung der Informa- eine von vielen Bildfolgen aktuell abgestrahlt wird. Da- 

tion werden Helligkeitsanderungsvektoren beztiglich bei soil der technische Aufwand mogiichst gering sein, 

der Mikrobereiche bestimmt Ftir eine Mustererken- was bedingt, die Datenmenge mogiichst zu reduzieren, 

nung ist zusatzlich ein Vergleicher zum Vergleichen mit was wiederum Voraussetzung daf tir ist, das Verfahren 

mehreren voreingestellten Einheitsvektoren vorgese- eo weitestgehend in Echtzeit ablaufen zu lassen. 

hen. Ein Vergleicherentscheider vergleicht den erzeug- Diese Aufgabe wird durch die im Patentanspruch 1 

ten Eigenschaftscode ftir jeden Mikrobereich mit einem angegebenen Merkmale gelost Vorteilhafte Ausgestal- 

gespeicherten Eigenschaftscode und erzeugt bei ent- tung und Weiterbildungen der Erfindung sind den Un- 

sprechender Obereinstimmung ein Ausgangssignal. teransprachen zu entnehmen. 

Verfahren zur Bilderkennung werden in verschiede- 65 FQr die Erkennung eines unikaten Bildes ist es mit 

nen Bereichen der Technik angewandt, beispielsweise Sicherheit ausreichend, aile Bildpunkte eines ausge- 

bei der industriellen Fertigung, um festzustellen, ob ein strahlten Bildes mit alien Bildpunkten eines Referenzbil- 

bestimmter Gegenstand in einer bestimmten Ausrich- des zu vergleichen. Dies wttrde jedoch zu einer zu ver- 
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gleichenden Datenmenge ftthren, die in einer Echtzeit- 
verarbeitung nicht mehr zu bewaltigen ware. Ein Voll- 
bild einer Fernsehabstrahlung mit beispielsweise 620 
Spalten und 512 Zeilen enthait 317.440 Pixel Wttrde 
man hierbei die Luminanzwerte (Helligkeitswerte) aus- 
werten und die Farbinformation unberQcksichtigt lassen 
und mit einer Amplitudenauflosung der Luminanzwerte 
von 8 Bit arbeiten, was 256 Graustufen entspricht, so 
hatte man pro Vollbild eine Datenmenge von rund 317 
Kbyte pro Bild. Bei 25 Vollbildern pro Sekunde entspra- 
che dies einem zu verarbeitenden DatenfluB von rund 8 
Mbyte pro Sekunde. Ein praktikabler und weitestge- 
hend in Echtzeit arbeitender Ansatz zur Erkennung un- 
ikater Bildsignale muB also versuchen, mit Teilmengen 
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Es zeigte sich allerdings auch, daB es keine bevorzugte 
ObjektgrdBe gibt, sondern einen gleitenden Obergang 
von feinster Struktur zu groben, homogenen F&chen. 
MeBtechnisch kann man diese Bildeigenschaften durch 
die Erfassung der zeitlich gemittelten Varianz bzw. der 
Standardabweichung eines Zeilenclusters beschreiben. 
Ein vollig homogenes Gebiet konstanter Luminanz 
wtirde die Varianz 0 aufweisen; ein fttr den gesamten 
Bildinhalt reprasentatives Cluster hatte die grdBtmdgli- 
che Varianz. 

Fig. 1 zeigt die Standardabweichung eines Spielfilms 
(Werbung) in Abhangigkeit von der ClustergrdBe und 
zum anderen die gleiche Messung an bandbegrenztem 
Rauschen (6 Mhz) als VideosignaL Fur die Wahl der 



dieses groBen Datenumfanges auszukommen. Theore- 15 ClustergroBe gibt es nach diesen Messungen keine ein- 



tisch gentigt schon ein einzelnes Bildelement (Pixel) um 
bei stdrungsfreier Obertragung das gesuchte Bild wie- 
der zu finden. Dabei wird man allerdings eine groBe 
Anzahl anderer Bilder identifizieren, die zufallig in die- 
sem einen Pixel mit dem gesuchten Bild ubereinstimmen 
(Falscherkennung). Ein Problem besteht also darin, eine 
mdglichst geringe aber doch ausreichende Zahl von 
Bildmerkmalen zu definieren, die das MaB der Falscher- 
kennung auf ein fiir den jeweiligen Anwendungszweck 
vertretbares MaB reduzieren. 

Bei der Erfmdung werden die Luminanzwerte (Hel- 
ligkeitswerte) verschiedener Pbcel erfaBt Ein einziges 
Pixel ist wegen des immer vorhandenen Rauschens fiir 
einen Vergleich aber nicht geeignet Wird beispielswei- 
se der Luminanzbereich von 0 V bis 1 V mit 8 Bit digita- 
lisiert codiert, so repr^sentiert eine Quantisierungsstufe 
der Digitalisierung einen Spannungsbereich von ca. 4 
mV. Bei einem betrieblichen Storabstand von 40 dB be- 
zogen auf einen 700 mV WeiBwert betr&gt die effektive 
St6ramplitude 7 mV und ist damit doppelt so hoch wie 
eine Quantisierungsstufe. Der Luminanzwert eines Pi- 
xels schwankt somit zufallig um mehrere Quantisie- 
rungsstufen. Beim Vergleich zweier entsprechender Pi- 
xel mfiBte man ein mehrere Stufen umfassendes Tole- 



deutigen, scharf abgrenzbaren Kriterien. Sie sollte gera- 
de so groB sein, daB die genannten Zeitprobieme unter- 
druckt und der EinfluB des Rauschens gemindert wird. 
Sie soilten aber nicht so groB sein, daB relevante Bildde- 
tails durch die Mittelwertbildung nicht mehr erkannt 
werden. Als vernunftiger KompromiB wird bei einem 
bevorzugtem Ausfuhrungsbeispiel der Erfindung eine 
ClustergrdBe von 5x5 Pixeln, angeordnet im Quadrat, 
gewahlt Diese Wahl ist zunachst jedoch nur als erste 
Naherung an ein relatives Optimum anzusehen und 
kann in gewissen GroBen geandert werden. Bei dieser 
ClustergroBe wird der StSrabstand im gtinstigsten Fall 
um den Faktor 5 entsprechend 14 dB durch Mittelung 
verbessert 

Bei der Erfindung werden mehrere Mittelwerte sol- 
dier Cluster miteinander "verglichen" Es stellen sich die 
Fragen, wie viele Cluster verwendet werden, wie diese 
in Form von "Masken" auf dem Bild verteilt werden und 
wie sie zu vergleichen sind. Aufgrund der in Echtzeit zu 
35 verarbeitenden Datenmenge, der heutigen Arbeitsge- 
schwindigkeit von Hardware-Bausteinen und den Ge- 
nauigkeitsanforderungen an die Bilderkennung kommt 
die Erfindung zu der Erkenntnis, daB es ausreicht, aus 
jedem Vollbild von 40 ms Dauer ein Merkmal von 10 Bit 
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ranzfenster zugrundelegen. Zusatzlich sprechen gegen 40 abzuleiten. Hierzu schlagt die Erfindung in einem Aus- 



die Verwendung eines einzelnen Pixels als Vergleichs- 
merkmal folgende Grunde: Bei der Bildspeicherung, 
-Obertragung und der -erfassung kann es je nach ver- 
wendetem Verfahren zu zeitlichen Ungenauigkeiten 
kommen, die sich in einer zufalligen Positionsanderung 
des Pixels, bezogen auf die Spalten oder Zeilen des Bil- 
des, bemerkbar machen. Diese zeitliche Ungenauigkeit 
kann im Bereich von einigen Nanosekunden iiegen. Es 
wtlrden dann Pixel miteinander verglichen, die in Wirk- 
lichkeit keinen Bezug zueinander haben. 

Um diese Schwierigkeiten zu umgehen, werden bei 
der Erfindung sogenannte Cluster gebildet, die aus meh- 
reren Pixeln bestehen. Dabei wird der mittlere Lumin- 
anzwert der Pbcel eines Clusters oder die Summe der 
Luminanzwerte der Pbcel eines Clusters bestimmt Vor- 
zugsweise sind die Cluster aus einem rSumlich zusam- 
menhSngenden Bereich des Bildes entnommen und wie- 
derum hier vorzugsweise aus einem quadratischen Be- 
reich. 

Fur die Auswahl der GroBe der Cluster bei der Erfin- 
dung waren folgende Oberlegungen maBgeblich: Stati- 
stische Messungen an tausenden von Bildern haben ge- 
zeigt, daB der von der Norm vorgesehene Spektralbe- 
reich fiir Videosignale von 5 Mhz bei weitem nicht aus- 
genutzt wird Demnach bestehen Bilder im Mittel uber- 
wiegend aus tieffrequenten Informationen, was auch aus 
dem Bildinhalt verstfindlich wird, wo typische Objekte 
mit bestimmter Mindestausdehnung dargestellt werden. 



45 



50 



55 



60 



65 



fuhrungsbeispiel vor, 10 Cluster pro Vollbild zu verwen- 
den und die mittlere Luminanz von in einer vorgegebe- 
nen Reihenfolge "benachbarter" Cluster miteinander zu 
vergleichen. Der Vergleich besteht hier in einer Diffe- 
renzbildung der Luminanzwerte. Aus dieser Differenz 
wird dann das mathematische Vorzeichen (Signumf unk- 
tion) digital codiert. Mit anderen Worten wird bei dem 
Vergleich nur untersucht, welcher von zwei miteinander 
zu vergleichenden Clustern heller ist, d. h. einen grdBe- 
ren mittleren Luminanzwert hat Um auch den Fall zu 
erfassen, daB zwei "benachbarte* Cluster innerhalb der 
bei der Digitalisierung auftretenden Quantisierung glei- 
che Helligkeitswerte haben, wird . der Vergleich wie 
folgtdurchgeftihrt: 

Cluster (n) < Cluster (n + 1) - 1 
Cluster (n) > « Cluster (n + 1) » 0. 

Zusatzlich kann fiir den Vergleich noch eine Hystere- 
se vorgesehen sein, dergestait, daB die erste Bedingung 
"Cluster (n) < Cluster (n + If nur dann als erfiillt 
angesehen wird, wenn die Differenz der Luminanzwerte 
der beiden zu vergleichenden Cluster grdBer als ein 
vorgegebener Schwellwert ist, wahrend fiir alle anderen 
Falle die zweite Bedingung "Cluster (n) > = Cluster (n 
+ 1)" als erfiillt angesehen wird Der Schwellwert kann 
beispielsweise zwei Digitalisierungsstufen betragen. 

Bei zehn Clustern je Bild ergeben sich somit zehn 
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Differenzen, die sich nach der entsprechenden Vorzei- Standbildern der Informationsgehalt entsprechend der 

chencodicrung als 10 Bit darstellen lassen. Bei diesem Anzahl der moglichen Masken verdoppelt oder yerviel- 

Vergleich wird der zehnte Cluster eines Vollbildes mit facht Die Clusteranordnungen sind dabei mdglichst so 

dem ersten Cluster des nfichsten Vollbildes verglichen. zu w&hlen, daB sie untereinander nicht zu Korrelationen 

Es wire aber auch mdglich, den zehnten Cluster eines 5 fflhren, die Clusteranordnungen also orthogonal zuein- 

Vollbildes mit dem ersten Cluster desselben Vollbildes ander sind, d h. die Anordnungen der Cluster der beiden 

zu vergleichen. Diese Vorzeichencodierung (Signum- Masken sind um 90° gegeneinander gedreht 

funktion) hat nicht nur den Vorteil einer enormen Da- Bei der Erzeugung des Testmusters und beim Vor- 

tenreduktion, sondern auch, daB der Code unempfind- gang der Bilderkennung wird also beispielsweise mit 

lich gegenQber Pegelschwankungen der Luminanzwer- io zwei Masken gearbeitet, beim ersten Bild mit Maske 1, 

te js t " beim zweiten Bild mit Maske 2, usw n d h. bei ungerad- 

Die Lage der Ouster und die Reihenfolge ihrer Ab~ zahligen Bildern mit Maske 1, bei geradzahligen Bildern 

frage ergibt sich indirekt aus dem Oberlegungen zur mit Maske 2. Beim KorrelationsprozeB, d h. beim Ver- 

ClustergrdBe. Wfthrend bei der Clusterbildung m6g- gleich der gespeicherten Merkmalsvektoren mit den ak- 

lichst korrelierte Bildelemente, dh. Pixel mit innerer 15 tueUen Merkmalvektoren, ergibt sich das Problem, daB 

Bindung der Bildbereiche zu einem Cluster zusammen- es bei dem zu vergleichenden Bild unbekannt ist, mit 

gefaBt wurden, mtissen Mr die Lage der Cluster und die welcher der beiden Masken das entsprechende Testmu- 

Reihenfolge ihrer Abfrage die einzelnen Cluster zur ster codiert wurde. Zur Ldsung dieses Problems wird 

Verbesserung des Informationsgehaltes moglichst un- daher jedes Testbild mit beiden mdgiichen Clusteran- 

abhftngige Bildbereiche repr&sentieren. Ihre Abfrage- 20 ordnungen (Masken) codiert und es werden zwei unter- 

reihenfolge wird daher so gew&hlt, daB sich im Mittel schiedliche, zueinander orthogonale Testsequenzen er- 

eine mdglichst groBe Sprungweite ergibt Der Abfrage- zeugt und gespeichert Die Abtastung des laufenden 

weg wird dann maximal. Die Cluster kdnnen statistisch Programmes erfolgt aber nur mit einer Sequenz, so daB 

im Bild angeordnet werden und sind vorzugsweise mog- auch nur ein laufender Merkmalsvektor gebildet wird 

lichst gleich Uber den gesamten Bildbereich verteilt 25 Dieser muB dann auch nicht mit beiden gespeicherten, 

Da pro Vollbild nur eine sehr kleine Anzahl, bei 10 zueinander orthogonalen Test-Merkmalsvektoren ver- 

Clustern pro Vollbild also nur 10 Bit verwendet werden, glichen werden. Die Korrelation erfolgt vielmehr nur 

um ein Bild zu identifizieren, ist die Wahrscheinlichkeit mit dem gespeicherten Merkmalsvektor, der mit der 

einer Falscherkennung noch recht hoch. Mit 10 Bit lie- gteichen Clusteranordnung (Maske) beginnt, wie das 

Ben sich theoretisch nur 2 10 » 1024 verschiedene Bilder 30 laufende Programm. Wenn beispielsweise grundsStzlich 

identifizieren. Jedes nur denkbare Bild lieBe sich dann bei alien Testmustern das erste, also ungerade Bild mit 

eindeutig einer Klasse von 1024 mdglichen Bildern zu- der Maske 1 codiert wird, dann wird es nur mit dem 

ordnen. FUr die Wiedererkennung unikater Bildsignale Muster des laufenden Programmes korreliert, das zur 

ist damit aber ein Merkmalsvektor von 10 Bit zu kurz. Zeit ebenfalls mit Maske 1 beim ersten Bild beginnt 

Die Erfindung schlfigt daher weiter vor, einen l&nge- 35 Durch diese orthogonalen Anordnungen von zwei 

ren Merkmalsvektor zu bilden, durch entsprechendes Masken steigt der Korrelationsaufwand nicht, es muB 

Abtasten mehrerer aufeinanderfolgender Bilder. In ei- nur sichergestellt sein, daB das jeweils "richtige" Test- 

nem AusfQhrungsbeispiel der Erfindung werden 51 auf- muster zur Verfttgung steht Da bei der Abtastung des 

einanderfolgende Bilder ausgewertet, was bei 40 ms pro aktuellen Bildes bekannt ist, mit welcher der beiden 

Vollbild dann einer Bildfolge von 2,04 Sekunden ent- 40 Masken die Abtastung begonnen wurde, ist eine eindeu- 

spricht Man erhfilt dann bei 51 Bildern k 10 Bit einen tige Zuordmmg mdglich, so daB dann bei der Korrela- 

Merkmalsvektor von 510 Bit tion auf denjenigen gespeicherten Merkmalsvektor zu- 

Bei der beschriebenen Form des Datenformates mit gegriffen werden kann, der mit derselben Maske be- 

51 Bildern erh&lt man sehr gute Erkennungsergebnisse ginnt 

mit Obereinstimmungen von tiber 90%. Gelegentliche 45 Eine Modifikation der Erfindung sieht vor, daB bei 

zufailige Obereinstimmungen mit anderen Bildfolgen gleich langem Merkmalsvektor ftir eine Bildsequenz das 

weisen einen Grad von hdchstens 75% auf. Bei einer Verhaitnis von Cluster pro Bild und Anzahl der aufein- 

Erkennungsschwelle von ca. 85% betrug die Erken- anderfolgenden Bildern verandert werden kann. Be- 

nungsrate in Laborversuchen mit einem Gertt nach der schr&nkt man beispielsweise den Merkmalsvektor auf 

Erfindung 100% bei 0% Falscherkennungen. Dies gait 50 510 Bit, so kdnnen in einem Extremfall 510 Bit pro Voll- 

fQr Bildsequenzen mit starkem szenischen WechseL bild verwendet werden, so daB also nur noch ein Voll- 

Unterscheiden sich die Bilder innerhalb einer Se- bild verglichen wird Im anderen Extremfall kdnnen 510 

quenz nicht, beispielsweise wenn mehrere oder alle auf- Vollbilder mit je nur einem Ouster verglichen werden. 

einanderfolgende Bilder gleich sind, was bei Standbil- Dazwischen sind eine Vielzahl von anderen Kombina- 

dern der Fall ist, ist der Informationsgehalt des Merk- 55 tionen mdglich. Anders ausgedrOckt kann man grund- 

malsvektors von 510 Bit zu gering und es kommt zu sfctzlich von 510 vorzeichencodierten Clusterdifferen- 

Falscherkennungen. Der Merkmalsvektor von 510 Bit zen sprechen, die bedarfsgem&B gleichmaBig Qber eine 

ist ja dann streng periodisch aufgebaut mit einer Perio- entsprechende Anzahl von Bildern verteilt werden kdn- 

dizitat von 10 Bit nen. Man kann auch noch weiter verallgemeinern indem 

Nach einer Weiterbildung der Erfindung laBt sich der 60 grundsatzlich bei jeder Testmustergewinnung von je- 

Informationsgehalt jedoch deutlich steigern, indem auf- dem Bild eine Vielzahl von Clusterdifferenzen codiert 

einanderfolgenden Bildern unterschiedliche Merkmale wird und es wird jedem Referenzmuster ein Schlussel- 

entnommen werden. Nach diesem Ausfiihrungsbeispiel wort mitgegeben, das angibt, mit welcher Teilmenge des 

der Erfindung wird also abwechselnd mit zwei "Masken" Testmusters korreliert werden solL Auf diese Weise las- 

fttr die Anordnung der Cluster gearbeitet Selbstver- 65 sen sich bildgenaue z. B. auf ein Senderlogo abgestellte 

stftndlich liegt es auch im Rahmen der Erfindung mit und szenenorientierte Referenzmuster erzeugea 

mehr als zwei solcher Masken zu arbeiten, die dann Im folgenden wird die Erfindung anhand eines Aus- 

zyklisch angewandt werden. Dadurch wird selbst bei fuhrungsbeispieles im Zusammenhang mit der Zeich- 
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nung ausf flhrlicher erlautert Es zeigt wobei jedes Vollbild 1 0 Bit des Musters einnimmt 

Fig. 1 Ein Diagramm der Standardabweichung eines Wie schon oben erw&int, besteht jeder Cluster aus 

Spielfilms in AbhMngigkeit von der ClustergroBe (An- mehreren Pixeln, die hier beispielsweise in einem Recht- 

zahl der Pixel); eck von 5x5 Pixel angeordnet sind Die Pixel jedes 

Fig. 2 eine schematische Darstellung der Anordnung 5 Clusters sollen moglichst nahe beieinander liegen, urn so 

der Cluster mit zwei zueinander orthogonalen Masken vom Bildinhalt her mdglichst miteinander zu korrelie- 

und das sich hieraus ergebende Referenzmuster; ren, d. h. hinsichtlich ihres Luminanzwertes eine innere 

Fig. 3 eine schematische Darstellung zur Erlauterung Bindung zueinander haben. 

des Korrelationsvorganges bei Verwendung von zwei Fig. 3 zeigt schematisch den Vorgang der Korrelation 

alternierend wirksamen Masken (Anordnung der Clu- 10 eines Referenzmuster aus einem laufenden Programm 

ster). mit gespeicherten Testmustern. Zur Erzeugung des 

Fig. 4 ein Diagramm der Korrelationsergebnisse bei Testmusters wird jede Bildfolge (hier 51 Bilder) mit bei- 

"richtiger" und "falscher" Korrelation des laufenden Pro- den Masken nach Fig. 2a und Fig. 2b abgetastet. Die mit 

grammes mit den unterschiedlichen Testmustern; Maske 1 beginnende Abtastung bildet einen ersten 

Fig. 5 ein Blockschaltbild eines Gerates zur Signal- 15 Merkmalsvektor, der in einem Testspeicher 1 abgespei- 

vorverarbeitung fOr die Erkennung unikater Bildsignale chert ist. Die mit Maske 2 beginnende Abtastung bildet 

nach einer ersten Variante der Erfindung; einen zweiten Merkmalsvektor, der in einem Testspei- 

Fig. 6 ein ahnliches Blockschaltbild fur eine zweite cher 2 abgespeichert wird. Die beiden Merkmalsvekto- 
Variante nach der Erfindung; ren sind also zueinander orthogonal. Das Iaufende Pro- 
Fig. 7 ein vereinfachtes Blockschaltbild eines Gerates 20 gramm (Referenzmuster) wird in einer vorgegebenen 
zur Durchfiihrung der Korrelation; und und damit bekannten Maskenfolge abgetastet, d. h. ent- 

Fig. 8 ein detaillierteres Blockschaltbild eines Gerates weder beginnend mit Maske 1 oder Maske 2. Wird das 

zur Durchfuhrung der Korrelation nach einem Ausfuh- Referenzmuster entsprechend Fig. 2c beginnend mit 

rungsbeispiel der Erfindung. Maske 1 erzeugt, so muB der Vergleich mit dem im 

Fig. 1 macht deutlich, daB die Standardabweichung 25 Testspeicher 1 abgelegten ersten Merkmalsvektor er- 
von Bildfolgen (hier eines Werbefilmes) mit der Cluster- folgen. Beginnt die Abtastung dagegen mit der Maske 2 
groBe ansteigt (ClustergroBe = Anzahl der Pixel pro gemaB Fig. 2b so erf olgt der Vergleich mit dem im Test- 
Cluster), so daB es keine eindeutigen, scharf abgrenzba- speicher 2 abgelegten Merkmalsvektor. 
ren Kriterien ftir die Ciustergr6Be gibt, vielmehr steht es Da jeweils nach jedem Vollbild die Maske gewechselt 
dem Fachmann frei, aufgrund anderer, oben genannter 30 wird und nach jedem Vollbild ein Vergleich zwischen 
Kriterien, die ClustergrSBe auszuwahlen. Ein dabei zu dem Testmuster und dem Referenzmuster stattfindet, 
beachtendes Kriterium liegt im Rauschen des Videosi- wird der Vergleich immer abwechselnd mit dem im 
gnales, das ab einer ClustergroBe von etwa 8 Pixel im Testspeicher 1 bzw. dem im Testspeicher 2 abgelegten 
wesentlichen konstant bleibt. Merkmalsvektor erfolgen. Pro Referenzmuster muB 

Fig. 2a zeigt schematisch die Anordnung von zehn 35 aber trotzdem jeweils nur ein Vergleich durchgefuhrt 

Clustern t — 10 bzw. deren Verteilung uber die Oberfla- werden. 

che eines Bildes. Durch die Pfeile ist die jeweilige "Rei- Fig. 4 zeigt den Unterschied zwischen einem Ver- 
henfolge" gekennzeichnet, in der die Cluster abgefragt gleich mit dem "richtigen" und einen mit dem "falschen" 
werden, also als (zeitlich) "benachbart" angesehen wer- Testmuster. Bei einem falschen Testmuster wiirde also 
den. Zwischen jeweils benachbarten Clustern wird das 40 der Vergleich im Ergebnis um ein Bild versetzt erfolgen, 
Vorzeichen der Differenz der Luminanzwerte der Clu- was wegen der Orthogonalitat beider Anordnungen kei- 
ster gebildet, also beispielsweise zwischen Cluster 1 und ne Obereinstimmung erg&be. Die obere Kurve zeigt das 
Cluster 2, zwischen Cluster 2 und Cluster 3 usw. bis fur Obereinstimmung typische Maximum. Die Korrela- 
zwischen Cluster 9 und Cluster 10. Der letzte Cluster tion deutet sich also schon einige Bilder vorher an, er- 
(hier Cluster 10) eines Vollbildes wird dann mit dem 45 reicht das Maximum und fallt dann in ahnlicher Weise 
ersten Cluster (Cluster 1) des niichsten Vollbildes vergli- wieder ab. Durch die orthogonalen Anordnungen der 
chen oder bei einer Variante der Erfindung mit dem beiden Masken steigt der Korrelationsaufwand nicht 
ersten Cluster desselben Vollbildes. Die in Fig. 2a dar- Fig. 5 zeigt ein Blockschaltbild eines Gerates fflr die 
gesteilte Anordnung und Reihenfolge der Cluster bildet Signalvorverarbeitung. Das tibliche Videosignal eines 
eine erste "Maske". 50 Fernsehers wird einem Videoeingang 1 1 zugef Qhrt Die- 
Fig. 2b zeigt eine entsprechende zweite Maske, die ses Signal entspricht der CCIR-Norm und ist vom Typ 
gegenflber der ersten Maske der Fig. 2a um 90 Grad BAS mit einer exakt auf 0 Volt geklemmten Schwarz- 
gedreht ist, zu dieser also orthogonal ist schulter. Die Biidamplitude betrSgt 0,7 V. Die Sync-Am- 
Bei der Auswahl "benachbarter" Cluster ist darauf zu plitude -03 V. Somit ist dem Videoeingang 11 ein han- 
achten, daB sie rSumlich auf dem Bild einen groBen Ab- 55 delsubliches Gerat vorgeschaltet, das den Farbtriiger 
stand zueinander haben, damit "benachbarte" Cluster beseitigt und die Schwarzschulter auf 0 Volt festklemmt. 
mdglichst voneinander unabh&ngige Bildbereiche re- Aus diesem Videosignal wird in einem ersten Baustein 
prSsentieren. Die Reihenfolge ist daher so festzulegen, 12 eine Taktaufbereitung vorgenommen. Derartige 
daB die raumlichen Abstande "benachbarter" Cluster im Bausteine sind im Handel erhaltlich und extrahieren aus 
Mittelwert mSglichst groB sind. 6 o dem Videosignal folgende Synchronsignale: Austastim- 
Fig. 2c zeigt, wie ein Muster (Merkmalsvektor) durch puis BL, Zeilensynchronimpuls H, Halbbildsynchronim- 
alternierendes Umschalten zwischen den beiden Mas- puis V und einen Vollbildimpuls FR 
ken nach Fig. 2a und Fig. 2b erzeugt wird. Jeweils ein Mit Hilfe dieser Signale werden in einem als Steuer- 
Vollbild wird mit der ersten Maske nach Fig. 2a abgeta- zentrale bezeichneten Block 13 ein Spalten- und ein 
stet, das n&chste Vollbild mit der Maske nach Fig. 2b, 65 Zeilenz&hler gespeist, mit Hilfe derer Ausgangssignale 
usw. Im gewShiten Ausfuhrungsbeispiel mit einer Se- jedes Pixel eines Fernsehbildes nach Spalte und Zeile 
quenz von 51 Vollbildern pro Merkmalsvektor ergibt eindeutig identifiziert werden kann.Mittels eines als Co- 
sich dann das schematisch in Fig. 2c gezeigte Muster, dierfeld bezeichneten Blockes 14 werden die einzelnen 
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Cluster, d h. die zu den einzelnen Clustern zu rechnen- 
den Pixel definiert, so daB dann mit Hilfe der in der 
Steuerzentrale 13 vorhandenen Zeilen- und Spaltenzah- 
ler die jeweiligen "Adressen" der auszuwahlenden Pixel 
bestimmt sind. Die Steuerzentrale 13 steuert Halbleiter- 
schalter 15i, 152 . 15 n +2 an, wobei n die Anzahl der 
abzutastenden Cluster pro Vollbild ist Es sind also zwei 
Halbleiterschalter mehr vorgesehen als Cluster pro 
Vollbild abgetastet werden. Jeder Halbleiterschalter ist 
mit einem Integrator 16i, Ife . . . 16 n +2 verbunden, der- 
art, daB bei geschlossenem Halbleiterschalter 15 der 
Videoeingang auf den Eingang des zugeordneten Inte- 
grators 16 durchgeschaltet wird. Wird durch die Steuer- 
zentrale festgestellt, daB eines zu einem Cluster i gehd- 
rendes Pixel am Videoeingang anliegt, so wird der ent- 
sprechende Schalter durch ein Signal \\ geschlossen und 
die zu diesem Pbcel geh6rende Helligkeitsinformation 
(Luminanzwert) wird dem zugeordneten Integrierer 16j 
zugefQhrt Auf diese Weise liefert der Ausgang des Inte- 
grators nach Ablauf eines Vollbildes die Summenlumi- 
nanz aller zum Cluster i gehorenden Pixelwerte. Die 
Ausgfinge jeweils zweier nacheinander zu bewertender 
Ouster werden einem Komparator 17 zugeftihrt, der an 
seinem Ausgang eine logische 1 ausgibt, wenn der Lu- 
minanzwert des Clusters i groBer ist als der des Clusters 
(i + 1). Sind alle fOr einen Vollbildzyklus definierten Clu- 
ster erfaBt und verglichen, speichert ein Taktimpuls CI 
alle Ausgangswerte der Komparatoren 17 in Datenspei- 
chern 18 und stellt deren Bits als Teil-Merkmalsvektor 
(f Qr ein Vollbild) einer Korrelationseinrichtung zur Ver- 
ftigung. Jeder solche Teil-Merkmalsvektor enthalt die 
Daten eines Vollbildes. 

Da jedem Vollbild n Cluster (z. B. n = 1 0) entnommen 
werden, die n-te Differenz jedoch durch Vergleich mit 
dem ersten Cluster des nSchsten Bildes zustandekommt, 
mtissen n + 2 Halbleiterschalter und Integratoren vor- 
handen sein. Einer der beiden Integratoren 16 n +t oder 
16 n +2 speichert die Information des n-ten Clusters des 
vorhergehenden Bildes; der andere Integrator 16 n +2 
oder 16n+i nimmt die Information des letzten Clusters 
des aktuellen Bildes auf und speichert sie ftir den Ver- 
gleich beim nUchstfolgenden Bild. Fiir diese beiden Inte- 
gratoren gilt eine besondere Regelung. Sie werden ftir 
jedes zweite Vollbild abwechselnd aktiviert Nach Ab- 
lauf eines Bildes und vor Beginn des neuen Vollbildes 
werden alle Integratoren bis auf einen geloscht, d. h. auf 
0 zurtickgesetzt Im einfachsten Fall besteht ein Integra- 
tor aus einem RC-Glied, dessen Kondensator durch ei- 
nen Reset-Impuls und einen elektronischen Schalter 
bzw. einen FET-TYansistor entladen wird 

Zusatzlich stellt die Steuerzentrale 13 noch ein Signal 
zur Verftigung, das als "Vollbild-Flag" der Korrelations- 
einrichtung die Gtiltigkeit der in den Speichern 18 ge- 
speicherten Werte anzeigt Zur Speicherung dieses 
Flags ist ein weiterer Speicher 19 vorgesehen. 

Alternativ kdnnte vorgesehen sein, nur n + 1 Halblei- 
terschalter und n + 1 Integratoren vorzusehen und die 
Information des n-ten Clusters abwechseln bei jedem 
Vollbild in den Integrator n oder den Integrator n + 1 
einzuschreiben. Die Ansteuerung der entsprechenden 
Schalter 15 n und 15 n +i wtlrde zusatzlich zu den AdreB- 
signalen aus der Steuerzentrale 13 tiber einen Umschal- 
ter erfolgen, der durch einen bis zwei zahlenden Bin&r- 
zfihler oder beispielsweise ein Flip-Flop angesteuert 
wird Entsprechend mtiBte der letzte Komparator 17n, 
der den Vergleich zwischen dem ersten Cluster des ak- 
tuellen Vollbildes mit dem n-ten Cluster des vorherge- 
henden Vollbildes durchftthrt, zwischen diesen beiden 



Komparatoren umgeschaltet werden und auch der ent- 
sprechende Komparator t7 n der den Vergleich zwi- 
schen dem n-ten Cluster und dem (n-l)-ten Cluster 
durchftihrt 

5 Noch eine weitere Variante der Erfindung besteht 
darin, daB der Vergleich nur innerhalb eines Vollbildes 
in der Weise zyklisch erfolgt, daB der n-te Cluster mit 
dem ersten Cluster desselben Vollbildes verglichen 
wird. 

io Fig. 6 zeigt eine zweite Variante ftir die Signalvorver- 
arbeitung. Der Videoeingang 11, die Taktaufbereitung 
12 und das Codierfeld 14 haben im Prinzip die gleiche 
Funktion wie im Ausftihrungsbeispiel die Fig. 5. Ahnli- 
ches gilt ftir die Steuerzentrale 13, die hier aber zusatz- 

15 licfa die Funktion als AdreBgenerator fiir einen RAM- 
Speicher (Random Access Memory) Qbernimmt Die 
Taktaufbereitung 12 erzeugt dieselben Synchronsignale 
wie im Ausftihrungsbeispiel der Fig. 5 und fQhrt diese 
der Steuerzentrale zu. Dort wird ein Bildpunkttakt (Pi- 

20 xeltakt ca. 12— 14 Mhz) erzeugt, der einen Analog/Digi- 
talwandler 20 veranlaBt, ca. alle 70 ns einen aktuellen 
Luminanzwert des Videosignales in ein 8-Bit- Wort um- 
zuwandeln. Gleichzeitig erzeugt die Steuerzentrale 13 
aus den Werten der Zeilen- und Spaltenz&hler eine 

25 RAM-Adresse, unter der der aktuell gewandelte Lumin- 
anzwert kumulierend gespeichert wird. Hierzu wird ei- 
ner arithmetisch-logischen Einheit (ALU) 21 zum einen 
der bisherige Speicherinhalt und zum anderen das Er- 
gebnis des AD-Wandlers 20 zugeftihrt und der Ausgang, 

30 d. h. die Summe mit gleichem Takt unter der gleichen 
Adresse in einen der beiden RAM-Speicher 22 oder 23 
abgespeichert Jedem Cluster entspricht dabei eine 
Speicherzelle. Bei den Speichern handelt es sich um so- 
genannte Dual-Port-RAMs, die an ihrem anderen Port 

35 asynchron wieder ausgelesen werden kdnnen. 

Ein Mikroprozessor 24 liest aus dem RAM 22 oder 23 
die kumulierten Luminanzwerte aus, bildet die Diffe- 
renzwerte zwischen "benachbarten" Clustern und gibt 
deren Vorzeichen an einen weiteren Speicher 25, der 

40 hier mit Ausgabelatch bezeichnet ist, weiter. An den 
Ausg&ngen dieses Ausgabelatch 25 stehen dann die glei- 
chen Bits als Bild-Merkmalsvektor an, wie an den Spei- 
cherpiatzen 18i — 18n im Ausftihrungsbeispiel der Fig. 5. 
Auch hier ist wie im Ausftihrungsbeispiel der Fig. 5 

45 ein "Vollbildflag" vorgesehen, das aus einem Speicher 19 
abzulesen ist 

Im Ausftihrungsbeispiel der Fig. 6 werden zwei iden- 
tische Speicher 22 und 23 verwendet, wobei immer in 
einen Speicher das aktuelle Bild eingelesen wird, wfth- 

50 rend das andere verarbeitet wird. Die Umschaltung er- 
folgt tiber die Steuerzentrale 13 durch entsprechende 
Ansteuerungen der EingSnge ftir Lesen (Rd), Schreiben 
(Wr)undTakt(Cl). 
In einer praktischen Ausftihrungsforra kdnnen die 

55 beiden Speicher 22 und 23 naturlich in einen integrier- 
ten Schaltkreis zusammengefaBt sein, ebenso wie auch 
die Funktion des Mikroprozessors 24 und der Steuer- 
zentrale mit AdreBgenerator 13. 
Das Codierfeld 14, das auch hier die Zuordnung der 

60 Pixel (Spalten- und Zeilenadresse) zu den einzelnen Clu- 
stern vornimmt, ist in einem Programmspeicher zu dem 
Mikroprozessor untergebracht In Fig. 6 sind lediglich 
Funktionsbl6cke zum besseren Verst&idnis getrennt 
gezeichnet 

65 Fig. 7 zeigt ein stark vereinfachtes Blockschaltbild ei- 
ner Korrelationseinrichtung. Eine Signalvorverarbei- 
tung 26 entsprechend den Ausftihrungsbeispielen der 
Fig. 5 oder 6 liefert jeweils bei Beendigung der Abta- 
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stung eines Vollbildes einen Teil-Merkmalsvektor, der 
beim hier beschriebenen Ausftihrungsbeispiel eine Lan- 
ge von 10 Bit hat Jeweils 51 aufeinanderfolgende Voll- 
bilder ergeben einen Merkmalsvektor von 510 Bit In 
einer "Lernphase" werden von Testmustern (ausgewahl- 
te Bildfolgen) entsprechende Merkmalsvektoren er- 
zeugt und in einem Speieher 28 abgespeichert Dies ist 
durch die gestrichelte Linie zwischen der Signalvorver- 
arbeitung 26 und dem Speieher 28 angedeutet, sowie 
durch einen Schalter 70, der in der "Lernphase" ge- 
schlossen ist Der Speieher enthait eine Anzahl m Merk- 
malsvektoren. 

Wahrend des normalen Betriebes erzeugt die Signal- 
vorverarbeitung 26 ebenf alls alle 40 ms einen Teilmerk- 
maisvektor von 10 Bit Lange. Die Teilmerkmalsvekto- 
ren werden in ein Register 29 eingeschrieben, das insge- 
samt eine Anzahl n (beispielsweise 51) Teilbildvektoren 
enthait Nach jedem Vollbild wird der letzte Teilbild- 
vektor neu eingeschrieben und der erste Teilbildvektor 
geldscht Damit wird der Merkmalsvektor (mit einer 
Lange von 510 Bit) also laufend aktualisiert Diese Ak- 
tualisierung erfolgt durch eine Steuerung 27, die von 
dem Speieher 19 der Fig. 5 oder 6 ein Signal fur die 
Beendigung der Abtastung eines Vollbildes erhalt So- 
bald ein Teil-Merkmalsvektor ffir ein neues Vollbild in 
das Register eingeschrieben ist, ruft die Steuerung 27 
aus dem Speieher 28 nacheinander alle dort gespeicher- 
ten Merkmalsvektoren ab und schreibt diese zeitlich 
nacheinander, in ein Register 30. Die beiden Register 29 
und 30 sind mit einem Vergleicher 31 verbunden, der die 
Registerinhalte vergleicht und bei einem vorgegebenen 
Grad der Obereinstimmung (z. B. 85 bis 95%) ein Signal 
"erkannt" an die Steuerung 27 abgibt Innerhalb der 40 
ms, die bis zum Eintreffen des nachsten Teil-Merkmals- 
vektors des letzten Vollbildes verstreichen, vergleicht 
der Vergleicher alle vollst&ndigen Merkmalsvektoren 
(Anzahl m) die im Speieher 28 abgespeichert sind. 

Werden die Registerinhalte der Register 29 und 30 als 
"ubereinstimmend" erkannt, so kann die Steuerung 27 
das weitere Auslesen von Merkmalsvektoren aus dem 
Speieher 28 abbrechen. Zusatzlich registriert die Steue- 
rung 27 die Adresse desjenigen Merkmalsvektors im 
Speieher 28, bei dem Obereinstimmung auftrat und gibt 
ein entsprechendes Signal an eine nicht dargestellte 
Zentraleinheit ab. 

Fig. 8 zeigt ein Prinzipschaltbild einer Korrelations- 
schaltung. Diese Korrelationsschaltung entspricht im 
wesentlichen der der EP 0 296 588, wo sie zur Wiederer- 
kennung von Tonsignalen verwendet wird. Durch ent- 
sprechende Aufbereitung der Bildinformation mit den 
Ausfuhrungsbeispielen der Fig. 1 bis 6 kann diese Schal- 
tung auch ffir die Wiedererkennung von Bildsignalen 
verwendet werden. Die Ausgange der Speieher 18i — 18 
Index n (Fig. 5) oder des Ausgabespeichers 25 (Fig. 6) 
werden fiber einen nicht dargestellten Parallel-Serien- 
Wandler als serielles Signal Di N auf eine Leitung 37 
gegeben, und zwar unter Steuerung eines Taktsignales 
O das von einem nicht dargestellten Taktgeber auf einer 
Leitung 38 ankommt Die seriell ankommenden Signale 
Din werden zun&chst in ein Schieberegister 39 einge- 
schrieben, wobei dieses Schieberegister vom Takt O 
(Leitung 38) in Verbindung mit einem Gatter 40 gesteu- 
ert wird Von diesem Schieberegister 39 gelangen die 
Signale Din byteweise (8 Bit Lange) fiber einen Bustrei- 
ber 41 zu einem Speieher 42, der hier als RAM-Speicher 
mit zwei K x 8 Bit ausgelegt ist. Nach einer nicht darge- 
stellten Variante ist es auch mdglich, die an den Ausg&n- 
gen der Speieher 18 bzw. 25 in paralleler Form vorlie- 



genden Signale parallel in den Speieher 42 zu tiberneh- 
men, was durch das Vollbild-Flag des Speichers 19 ge- 
speichert werden kann. 
Eine Zahlerkette mit hintereinander geschalteten 
5 Zahlern 43, 44 und 45 erhalt fiber ein UND-GATTER 46 
das Taktsignal d> und bestimmt fiber seine Ausg&nge die 
Adressen des Speichers 42, unter denen die vom Bus- 
treiber 41 ankommenden Signale abgespeichert wer- 
den. Hierzu wird der Takt O im Zahler 43 zunachst 
10 durch 8 geteilt und als Byteadresse an die AdreBleitun- 
gen AO bis A10 des Speichers 42 gelegt 

Der 1/0-Obergang bestimmter AdreBleitungen steu- 
ert zwei mit negativen Flanken getriggerte JK-Flip- 
Flops 46 bzw. 47, welche wichtige Steuerfunktionen 
15 ubernehmen. Bei einer Lange der Merkmalsvektoren 
von 512 Bit wird bei einem 1/0-Obergang der AdreBlei- 
tung A5 das erste Flip-Flop 46 getriggert, wenn ein 
Merkmalsvektor vollstandig gespeichert ist. Dieses 
Flip-Flop wird zu Beginn einer "Lernphase" durch eine 
20 Taste 48 ("Lern-Startausffihrung") und zwei Gatter 49 
und 50 gesetzt (Ausgang Q = 1; Q quer - 0) und kippt 
dann beim 1/0-Obergang der AdreBleitung A5 zurfick 
und loscht die Zahler 43, 44 und 45. Es konnen dann 
weitere Merkmalsvektoren geladen werden, indem die 
25 beiden Zahler 44 und 45 fiber hier nicht gezeigte Leitun- 
gen auf eine Startadresse gesetzt werden. Nach jeweils 
weiteren 512 Takten wird wiederum fiber das Flip-Flop 
46 der Vorgang gestoppt Die mit "Maskenende" be- 
zeichnete Leitung 51, die mit der AdreBleitung A5 ver- 
30 bunden ist, signalisiert einer hier nicht gezeigten Zen- 
traleinheit das Ende des Einschreibevorganges einer 
Maske bzw. eines Merkmalsvektors, wodurch der Takt 
ti> unterbrochen wird. 
Wenn alle Merkmalsvektoren in den Speieher 42 ein- 
35 gelesen sind, wird ein Umschalter 70 in die dargestellte 
Stellung "K" fur Korrelieren umgeschaltet Gieichzeitig 
wird der Takt <I> erhdht Es werden dann die von den 
Signalvorverarbeitungen der Fig. 5 oder 6 ankommen- 
den, auszuwertenden Signale des laufenden Program- 
40 mes fiber eine Torschaltung 52 in nachfolgend n&her 
beschriebener Weise in einen Speieher 53 eingelesen, 
und zwar wiederum mit derselben Taktrate, mit der die 
im Zwischenspeicher 42 abgespeicherten Test-Merk- 
malsvektoren getaktet wurden. Wahrend des Ver- 
45 gleichsvorganges werden nacheinander alle im Speieher 
42 abgelegten Merkmalsvektoren mit dem 512 (bzw. 
510) Bit des Speichers 53 verglichen, indem fiber zu 
diesen Speichern gehorende Zahlerketten 43, 44, 45 zu 
Speieher 42; Zahler 54 und 55 zu Speieher 53, diese 
50 Zahler adreBrichtig ausgelesen werden. Der Zahler 43 
ist nur "einkanalig" belegt und enthait die letzten 512 Bit 
des an der Leitung 37 anliegenden Signales Din. Der 
Speieher 42 gibt seine Daten fiber einen Multiplexer 56, 
der eine Parallel-Serienwandlung durchffihrt, an einen 
55 Eingang des Vergleichers ab, der hier als Exklusiv-Oder- 
Gatter 56 ausgefuhrt ist Dem anderen Eingang dieses 
Exklusiv-Oder-Gatters 56 werden die Ausgangssignale 
des Speichers 53 zugefuhrt Bei Obereinstimmung sei- 
ner beiden Eingangssignale (also 0 und 0 oder 1 und 1) 
60 erscheint am Ausgang des Exklusiv-Oder-Gatters 56 ei- 
ne "1", welche fiber ein Gatter 57 einer Zahlerkette aus 
den zwei 4-Bit-Zahlern 58 und 59 zugeffihrt wird. Jede 
Obereinstimmung der Signale aus den beiden Speichern 
42 und 53 erhdht also den Zahlerstand der Zahlerkette 
65 58, 59 um eine 1. 

Nach dem Vergleich jeweils eines Merkmalsvektors 
(512 Bit) wird durch ein Triggersignal (AdreBleitung A5) 
fur das Flip-Flop 56 (Leitung "Maskenende") der Zahler- 
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stand der Zahler 58, 59 im D-Register 60, 61 ttbernom- 
men und die Zahler 58, 59 anschlieBend geldscht Die 
D-Register 60, 61 geben ihre Daten an einen nicht-dar- 
gestellten Rechner weiter, was ebenfalls Uber das Signal 
auf der Leitung "Maskenende" (Leitung 62) gesteuert 5 
wird 

Bei vollstandiger Ubereinstimmung von Referenz- 
Merionalsvektor und Test-Merkmalsvektor kann der 
Zablerstand der Zahler 58, 59 den Wert 512 enthalten. 
Wegen der fast immer vorhandenen Abtastfehler wird 10 
der Zfihlerstand in der Regler niedriger sein. Die Praxis 
zeigt, dafl bei guter Signalaufbereitung etwa 85—95% 
des maximalen Zahlerstandes bei Koinzidenz erreicht 
wird (ein Zfihlerstand von 256 ist der Erwartungswert 
bei nicht-korrelierten Signalen). Wenn alle Merkmals- 15 
vektoren des Speichers 42 mit den aktuell im Speicher 
53 gespeicherten 512 Bit verglichen sind, wird dies — je 
nach Anzahl der Merkmalsvektoren — auf einem der 
Ausgange der Zahler 44 bzw. 45 erkannt und Uber eine 
Leitung 63 dem Flip-Flop 47 gemeldet, welches urn- 20 
schaltet und dafiir sorgt, daB ein Taktimpuls fur die 
Zahlerkette 43, 44, 45 unterdrQckt wird, wahrend die 
Zflhlerkette 54, 55 des Speichers 53 weiterschaltet und 
Uber einen Impuls auf der Leitung 64 (Ausgang des 
Flip-Flop 47) das Tor 52 far einen Taktimpuls 6f fnet und 25 
damit einen Abtastwert des Signales Din auf der Lei- 
tung 37 in den Speicher 53 einschreibt Dabei schaltet 
die Zahlerkette 54, 55 auch urn einen Takt weiter, so daB 
zwischen den Adressen der beiden Speicher sich eine 
bei Vergleich jedes vollstandigen Merkmalsvektor eine 30 
um eine I vergrdBernde Differenz ergibt Damit ist der 
Speicher 53 relativ zum Speicher 42 wie ein Schiebere- 
gister organisiert, welches nach einem Durchlauf en bzw. 
Vergleichen aller Merkmalsvektoren des Speichers 42 
um einen Schritt weiter schaltet. 35 

Sobald das ein Durchlaufen aller Merkmalsvektoren 
anzeigende Signal auf der Leitung 63 verschwindet, 
wird das Flip-Flop 47 fiber das nachste Taktsignal O, 
welches fiber Gatter 64, 65 und 66 zu dessen Riicksetz- 
eingang R gelangt, wieder rtickgesetzt, wodurch das 40 
Gatter 46, welches die Taktimpulse zu der Zahlerkette 
43, 44, 45 laBt, wieder freigegeben wird Kurz zusam- 
mengefaBt werden also innerhalb von 40 ms, d. h. der 
Zeitdauer zum Abtasten eines Vollbildes des Videosi- 
gnales alle gespeicherten Merkmalsvektoren zu je 45 
512 Bit verglichen. Das Flip-Flop 46 Qberwacht dabei 
den einzelnen Merkmalsvektor (512 Bit), wahrend das 
Flip-Flop 47 die Gesamtzahl aller gespeicherten Merk- 
malsvektoren ilberwacht Je nach Anzahl der im Spei- 
cher 42 gespeicherten Merkmalsvektoren ist der Takt- 50 
eingang (Leitung 63) des Flip-Flop 47 mit einem ande- 
ren Ausgang der Zahlerkette 44, 45 verbunden. 

Im beschriebenen Ausftihrungsbeispiel wird der Ver- 
gleich seriell mit einem Exklusiv-Oder-Gatter56 durch- 
geffihrt Da die Taktfrequenz fUr den Vergleich mit der 55 
Anzahl der gespeicherten Merkmalsvektoren steigt, ist 
die Anzahl der Merkmalsvektoren durch die maximale 
Arbeitsfrequenz der digitalen Bausteine begrenzt Es ist 
daher prinzipiell auch mdglich, mehrere parallel arbei- 
tende Vergleiche einzusetzen, sei es, daB der Vergleich 60 
byteweise (8 Bit) durchgefiihrt wird, sei es auch, daB im 
Extremfall alle 512 Bits parallel in 512 parallelen EX- 
OR-Gattern verglichen wfirden. Letzteres ist allerdings 
relativ aufwendig, da Speicher mit 512 Ausgangen ben6- 
tigtwOrden. 65 

Weiterhin ist es prinzipiell auch mdglich, mehrkanalig 
zu arbeiten, dergestalt, daB zwei oder mehrere Sender 
Qberwacht werden. Hierzu konnte man entweder den 
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Speicher 53 vergroBern und derart organisieren, daB 
zwei verschiedene Eingangssignale Din parallel bzw. 
zeitlich verschachtelt eingelesen und verglichen werden 
oder daB statt des einen Speichers 53 pro Kanal ein 
eigener entsprechender Speicher vorgesehen ist. 

SchlieBlich ist es auch mSglich, den Speicher 42 als 
Datenbank zu organisieren und fiber einen Suchalgo- 
rithmus zu untersuchen, ob der im Speicher 53 vorhan- 
dene "Datensatz" in der "Datenbank" des Speichers 42 
vorhanden ist Der Suchalgorithmus kann dabei auch so 
aufgebaut sein, daB nicht nur nach "identischen" Daten- 
satzen, sondern nach "ahnlichen" Datensatzen (Daten- 
satz « ein Merkmalsvektor) gesucht wird. 

Da es bei der Wiedererkennung von Bildern bzw. 
Bildfolgen nicht nur darauf ankommt, ob eine der zu 
fiberwachenden Bildfolgen gespielt wurde, sondern 
auch darauf, welche von diesen, kann gleichzeitig mit 
dem Korrelationsergebnis der Zahlerkette 58, 59 der 
Zfihlerstand der Zahlerkette 43, 44, 45 abgefragt und in 
die nicht dargestellte Zentraleinheit eingegeben wer- 
den- Damit ist es mdglich, den aktuell erkannten Merk- 
malsvektor (Bildfolge) zu identifizieren und dieses Iden- 
tifikationsergebnis zusammen mit Datum und Uhrzeit 
und ggf. auch den iiberwachten Sendekanal zu spei- 
chern oder auszugeben. 

Zu den Speichern 42 und 53 ist noch anzumerken, daB 
die mit WE/quer bzw. OE/quer bezeichneten Eingange 
Steuereingange sind, wobei der Eingang WE/quer ein 
negierter "write enabIe w -Eingang ist, der das Einschrei- 
ben in den Speicher steuert, wahrend der Eingang OE/ 
quer ein negierter w output-enable"-Eingang ist, der das 
Auslesen von Daten aus dem Speicher steuert Durch 
die diesen Eingangen vorgeschalteten Gatter wird die 
Verbindung mit dem Taktsignal <D und dem Signal auf 
der Leitung 64 beztigiich des Speichers 53 bzw. durch 
die Stellung des Schalters 70 und das die Obertragung 
eines Bytes (8 Bit) aus dem Speicher 42 identifizierende 
Signal des Zahlers 43 fOr den Speicher 42 Uberwacht, 
daB die beiden Speicher 42 und 53 nur zu den jeweils 
richtigen Zeitpunkten ausgelesen bzw. eingeschrieben 
werden kdnncn. Die iibrigen in der Zeichnung darge- 
stellten, jedoch in der Beschreibung nicht ausdriicklich 
erwahnten Gatter bzw. deren externe Beschaltungen 
dienen ebenfalls der richtigen Funktion der Ablauf- 
steuerung, wobei deren Funktion dem Fachmann ohne 
weiteres ersichtlich ist, bzw. sich beim Aufbau der dar- 
gesteDten Schaltung von selbst einstellt 

Patentansprfiche 

1. Verfahren zum Wiedererkennen von unikaten 
Bildsignalen, gekennzeichnet durch folgende 
Schritte: 

a) Aus Helligkeitswerten einer Anzahl n von 
Pixeln an mehreren vorbestimmten Stellen je- 
des Vollbildes wird je ein erstes Helligkeitssi- 
gnal ermittelt, 

b) diese ersten Helligkeitssignale von in einer 
vorgegebenen Reihenfolge aufeinanderfol- 
genden Stellen werden voneinander subtra- 
hiert, 

c) die Vorzeichen dieser Differenzen werden 
je als 1 Bit digitalisiert (Signumfunktion), 

d) die digitalisierten Signale werden als Test- 
Bitfolge (Merkmalsvektor) abgespeichert, 

e) die Schritte a) bis d) werden ftir eine Anzahl 
m (z.B. 51) aufeinanderfolgende Vollbilder 
wiederholt, 
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f) zu untersuchende Bildsignale werden in glei- 
cher Weise (Schritte a) bis e)) zur Erzeugung 
einer Referenz-Bitfolge (Referenz-Merkmals- 
vektor) aufbereitet und 

g) jede Test-Bitfolge wird mit alien Referenz- 5 
Bitfolgen verglichen und bei Oberschreiten ei- 
nes vorgegebenen MaBes der Obereinstim- 
mung wird ein Signal fur "Bildfolge" wiederer- 
kannt erzeugt 

2. Verfahren nach Anspruch 1, dadurch gekenn- 10 
zeichnet, da8 in Schritt a) raumlich zusammenhan- 
gende Pixel eines Bildes einen Cluster bilden, des- 
sen Helligkeitssignal ermittelt wird. 

3. VerfaHren nach Anspruch 2, dadurch gekenn- 
zeichnet, daB die Pixel jedes Clusters in Form eines 15 
Quadrates unmittelbar benachbarter Pixel ange- 
ordnet sind 

4. Verfahren nach Anspruch 3, dadurch gekenn- 
zeichnet, daB jeder Cluster 5x5 Pixel enthalt 

5. Verfahren nach einem der Anspriiche 2 bis 4, 20 
dadurch gekennzeichnet, daB die Helligkeitswerte 
(Luminanzwerte) aller Pixel eines Clusters zu dem 
Helligkeitssignal aufsummiert werden. 

6. Verfahren nach einem der Anspriiche 2 bis 4, 
dadurch gekennzeichnet, daB der arithmetische 25 
Mittelwert der Helligkeitswerte aller Pixel eines 
Clusters das Helligkeitssignal bildet 

7. Verfahren nach einem der Anspriiche 1 bis 6, 
dadurch gekennzeichnet, daB das Subtrahieren der 
Helligkeitssignale von in einer vorgegebenen Rei- 30 
henfolge benachbarten Stellen und das Digitalisie- 
ren der Vorzeichen dieser Differenzen in einem 
Arbeitsschritt mittels eines Komparators durchge- 
fuhrtwird. 

8. Verfahren nach einem der Anspriiche 2 bis 7, 35 
dadurch gekennzeichnet, daB die Cluster statistisch 
fiber die Flache des Vollbildes verteilt sind. 

9. Verfahren nach Anspruch 8, dadurch gekenn- 
zeichnet, daB die Reihenfolge, in der die Hellig- 
keitssignale benachbarter Cluster voneinander 40 
subtrahiert bzw. miteinander verglichen werden, so 
festgelegt ist, daB der Mittelwert der raumlichen 
Abstande der in dieser Reihenfolge jeweils benach- 
barten Cluster einen Maximalwert einnimmt. 

10. Verfahren nach Anspruch 9, dadurch gekenn- 45 
zeichnet, daB der in der Reihenfolge letzte Cluster 
mit dem ersten Cluster des n&chsten Vollbildes ver- 
glichen wird 

11. Verfahren nach Anspruch 9, dadurch gekenn- 
zeichnet, daB der in der Reihenfolge letzte Cluster 50 
mit dem ersten Cluster des nachstfolgenden Voll- 
bildes verglichen wird. 

12. Verfahren nach einem der Anspriiche 8 bis 11, 
dadurch gekennzeichnet, daB mindestens zwei von- 
einander verschiedene Clusteranordnimgen (Mas- 55 
ken) vorgesehen sind und daB aufeinanderfoigende 
Vollbilder mit zyklisch abwechselnder Clusteran- 
ordnung (Masken) abgetastet werden. 

13. Verfahren nach Anspruch 12, dadurch gekenn- 
zeichnet, daB bei Verwendung von zwei Clusteran- eo 
ordnungen (Masken) diese einander gleich jedoch 
gegenfiber einem abzutastenden Bild um 90 Grad 
gegeneinander gedreht sind 

14. Verfahren nach Anspruch 12 oder 13, dadurch 
gekennzeichnet, daB jede Testbildfolge mit alien 65 
zyklischen Clusterfolgen (Masken) abgetastet wird, 
daB jede Referenzbildfolge nur mit einer zyklischen 
Clusterfolge (Maske) abgetastet wird und daB jede 
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so ermittelte Referenzbitfolge nur mit einer ausge- 
wahlten der verschiedenen Testbildfolgen korre- 
liertwird 

15. Verfahren nach einem der Anspriiche 1 bis 14, 
dadurch gekennzeichnet, daB der Vergleich jeder 
Test-Bitfolge mit alien Referenzbitfolgen jedesmal 
dann stattfindet, wenn ein Vollbild abgetastet ist 

16. Vorrichtung zur Durchfiihrung des Verfahrens 
nach einem der Anspriiche 1 bis 15, gekennzeichnet 
durch: 

— einen Taktaufbereitungsschaltkreis (12), der 
aus einem Videosignal mindestens ein Zeilen- 
taktsignal und ein Spaltentaktsignal erzeugt, 

— ein Codierfeid (14), das vorbestimmte Pixel 
des im Videosignal enthaltenen Bildes bezeich- 
net, 

— eine Steuereinrichtung (13), die mit dem 
Taktaufbereitungsschaltkreis (12) und dem 
Codierfeid (14) verbunden ist und mindestens 
einen Summierer (21; I61 — 16 n +2), so ansteu- 
ert, daB Luminanzwerte des Videosignales, der 
von dem Codierfeid (14) vorbestimmten und 
durch das Zeilentaktsignal und das Spalten- 
taktsignal identifizierten Pixel in zu Clustern 
zusammengefaBten Gruppen aufsummiert 
werden, 

— eine Vergleichseinrichtung (24; 17i — 17 n ) in 
der die Summensignale der einzelnen Cluster 
mit Summensignalen anderer vorbestimmter 
Cluster verglichen werden und pro Vergleich 
ein digitales Signal in Form eines Bits erzeugt 
wird, das anzeigt, welcher der beiden vergli- 
chenen Cluster einen groBeren Luminanzwert 
hat, 

— einen Speicher (25; I81, 18n), in dem die 
Vergleichsergebnisse gespeichert werden und 

— eine Korreliereinrichtung (Fig. 7), in wel- 
cher der Inhalt des. Speichers (25; I81 . . . 18 n ) 
mit in einem weiteren Speicher (30; 42) gespei- 
cherten Testbildmustern in einer vorbestimm- 
ten Taktfolge laufend korreliert werden. 

17. Vorrichtung nach Anspruch 16, dadurch ge- 
kennzeichnet, daB die Summierer Integratoren 
(16t — 16n+2) sind die fiber von der Steuereinrich- 
tung (13) angesteuerte Schalter (15i — 15 n +2) mit 
dem Videosignal beaufschlagt werden. 

18. Vorrichtung nach Anspruch 16, dadurch ge- 
kennzeichnet, daB der Summierer eine arithme- 
tisch/logische Recheneinheit (21) ist, deren einem 
Eingang fiber einen Analog/Digital- Wandler (20) 
ein digitalisiertes Videosignal und deren anderem 
Eingang ein in einem Zwischenspeicher (22, 23) 
zwischengespeicherter Wert zugefiihrt wird und 
deren Ausgang mit dem Zwischenspeicher (22, 23) 
verbunden ist 

19. Vorrichtung nach Anspruch 17, dadurch ge- 
kennzeichnet, daB die Ausgange der Integratoren 
(I61— 16n+2) jeweils paarweise mit einem Kompa- 
rator (17i— 17 n ) verbunden sind, der die in den zu- 
geordneten Integratoren aufsummierten Lumi- 
nanzsignale vergleicht und in Abhangigkeit von 
diesem Vergleich ein Signal an den Speicher 
(lSi-lSnJausgibt. 

20. Vorrichtung nach Anspruch 19, dadurch ge- 
kennzeichnet, daB einem Eingang der Komparato- 
ren (17i — 17 n ) zusatzlich ein vorbestimmter 
Schwellwert hinzuaddiert wird. 

21. Vorrichtung nach Anspruch 18, dadurch ge- 
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kennzeichnet, daB die in den Zwischenspeichern 
(22, 23) fflr die einzelnen Cluster abgespeicherten 
Summensignale unter Steuerung eines Mikropro- 
zessors (24) in vorbestimmter Reihenfolge mitein- 
ander verglichen werden und das Vergleichsergeb- 5 
nis in den Speicher (25) abgelegt wird. 
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